1
Définir l'optimalité dans l'inférence statistique
MATH003Lesson 8
00:00
Dans le vaste désert des données statistiques, nous sommes des chasseurs à la recherche de la vérité — le véritable paramètre $\psi(\theta)$. Mais comment déterminer quelle flèche (estimateur) est la meilleure ? Optimalité n'est pas une sensation vague ; c'est l'art mathématique de minimiser la perte. Pour trouver l'« estimateur optimal », nous nous tournons vers l'erreur quadratique moyenne (MSE), qui se décompose élégamment en la tension entre deux forces fondamentales : Variance et Biais.

Définir la norme d'or : L'erreur quadratique moyenne (MSE)

Pour mesurer à quelle distance notre estimation $T$ se trouve de la réalité $\psi(\theta)$, nous définissons l'erreur quadratique moyenne (Définition 6.3.1) :

$$MSE_\theta(T) = E_\theta((T - \psi(\theta))^2)$$

C'est la distance moyenne au carré entre notre estimateur et la cible. Un estimateur parfait aurait un MSE nul, mais dans un monde parsemé de bruit aléatoire, nous cherchons à le minimiser.

Théorème 8.1.1 : L'architecture de l'erreur

Pourquoi un estimateur échoue-t-il ? Le théorème 8.1.1 fournit le plan. Si $T$ admet un moment d'ordre deux fini, l'erreur par rapport à toute constante $c$ est donnée par :

$E((T - c)^2) = \text{Var}(T) + (E(T) - c)^2$

Cette formule révèle que l'erreur totale au carré est minimisée uniquement lorsque nous choisissons $c = E(T)$. Dans le cadre de l'inférence, nous posons $c = \psi(\theta)$, ce qui conduit à la célèbre décomposition :

MSE = Variance + Biais$^2$

Le compromis entre précision et justesse

Imaginez deux balances dans un laboratoire de contrôle qualité :

  • La relique précise : Elle donne toujours le même poids (faible variance), mais est mal calibrée de 2 grammes (fort biais).
  • Le sage instable : Elle est correcte en moyenne (biais nul), mais oscille de façon anarchique entre les mesures (forte variance).

Le théorème 8.1.1 nous permet de calculer précisément quelle balance offre une erreur totale plus faible. Souvent, nous sommes prêts à accepter une petite déviation systématique (biais) si cela réduit considérablement le bruit (variance).

Exemple 8.1.1 : Suffisance et information

L'optimalité est liée à information. Considérons un espace d'échantillonnage $S = \{1, 2, 3, 4\}$. Si les résultats 2, 3 et 4 sont également probables pour tout paramètre possible, ils portent la même vraisemblance. Nous pouvons définir une statistique suffisante $U$ qui regroupe ces résultats sans perdre la capacité à faire une inférence optimale. Comme montré dans la simulation, si $L(\cdot|2) = L(\cdot|3) = L(\cdot|4)$, un estimateur optimal les traite comme un seul événement informatif.

🎯 Principe fondamental
Un estimateur est optimal lorsqu'il minimise la perte attendue. Pour une perte au carré, cela signifie trouver le point où la somme de la variance et du carré du biais est au minimum absolu.